Misi Selesai! Kamu telah menguasai dasar-dasar bahasa AI!Belum tepat! Mari kita coba membangun kembali urutan ini!Pengetahuan Diunggah: Token & Urutan ... Apakah itu ... ? ... Atau ...
Apa yang kita sebut sebagai blok kecil yang digunakan AI untuk membaca?
Benar sekali! Token adalah unit-unit kecil seperti "apel," "ing," atau "?" yang membentuk bahasa bagi AI.
Bagaimana komputer merepresentasikan sebuah token agar bisa memahaminya?
Benar! Komputer hanya memahami angka, jadi setiap token mendapatkan nomor identifikasi unik tersendiri.
Jika kita memiliki token untuk "teman" dan "kapal," kata "pertemanan" disebut apa ketika berupa daftar angka?
Tepat sekali! Daftar terurut dari angka token disebut sebagai urutan.
Mengapa urutan token dalam suatu urutan sangat penting?
Tepat sekali! Token yang sama dalam urutan yang berbeda dapat mengubah makna keseluruhan suatu kalimat.
Berapa batas jumlah token yang bisa diproses AI sekaligus?
Kamu benar! Jendela Konteks adalah batas berapa banyak informasi yang bisa diingat AI selama percakapan.
Apakah tanda baca tunggal, seperti titik (.), bisa menjadi token?
Benar! Token bisa berupa kata lengkap, bagian kata, atau bahkan tanda baca. Semua adalah blok pembentuk!
1
Tokenisasi & Urutan
EvoClass-AI004Pertemuan 4
0
🤖 Beep Boop! Selamat datang, Kadet! Pilih topik bawah ini untuk melihat bagaimana AI "membaca" melalui tokenisasi.
Perintah Py-BotLANGSUNG
Beep Boop! Halo, Kadet! Untuk mengajarkan AI membaca, kita harus memotong kata-kata menjadi potongan kecil seperti "Lego". Siap belajar bagaimana komputer mengubah kata menjadi angka?
Kemajuan Topik0%
Pilihan hebat! Token seperti balok Lego. Kata seperti "pertemanan" dibelah menjadi bagian-bagian kecil seperti "teman" dan "kapal." Bahkan titik sederhana "." pun merupakan token! Bagi AI, bagian-bagian ini lebih mudah dikelola daripada kalimat panjang utuh.
1
Sub-Tema 1
Apa itu Token?
Memotong teks menjadi blok pembentuk kecil seperti "teman" dan "kapal."
Lihat ini! Setelah kita memiliki token, AI memberi setiap token nomor ID rahasia. Angka-angka ini membentuk "Urutan." Ingat: urutan sangat penting! "Anjing menggigit manusia" dan "Manusia menggigit anjing" menggunakan blok yang sama, tetapi urutan menyampaikan cerita yang sangat berbeda!
2
Sub-Tema 2
Kekuatan Urutan
Mengubah blok menjadi daftar matematis di mana urutan adalah segalanya.
Tahukah kamu? AI memiliki "Jendela Konteks," yang seperti ukuran tangannya. Ia hanya bisa menyimpan jumlah token tertentu dalam "pikirannya" sekaligus sebelum mulai lupa awalnya!
Tahukah kamu?
AI memiliki "Jendela Konteks," yang seperti ukuran tangannya. Ia hanya bisa menyimpan jumlah token tertentu dalam "pikirannya" sekaligus sebelum mulai lupa awalnya!
Memuat...
⭐⭐⭐

Misi Selesai!

Kamu adalah ahli Token!